Selecting Benchmarks Combinations for the Evaluation of Multicore Throughput

Most high-performance processors today are able to execute multiple threads of execution simultaneously. Threads share processor resources, like the last-level cache, which may decrease throughput in a non obvious way, depending on threads characteristics. Computer architects usually study multiprogrammed workloads by considering a set of benchmarks and some combinations of these benchmarks. Because cycle-accurate microarchitecture simulators are slow, we want a set of combinations that is as small as possible, yet representative. However, there is no standard method for selecting such sample, and different authors have used different methods. It is not clear how the choice of a particular sample impacts the conclusions of a study. We propose and compare different sampling methods for defining multiprogrammed workloads for computer architecture. We evaluate their effectiveness on a case study, the comparison of several multicore last-level cache replacement policies. We show that random sampling, the simplest method, is robust to define a representative sample of workloads, provided the sample is big enough. We propose a method for estimating the required sample size based on fast approximate simulation. We propose a new method, workload stratification, which is very effective at reducing the sample size in situations where random sampling would require large samples. Key-words: workload selection, multicore, sampling methods, replacement policies, throughput methods ha l-0 07 37 44 6, v er si on 2 8 N ov 2 01 2 Sélection de charges multitâches de référence pour l’évaluation du débit d’exécution des processeurs multicœurs Résumé : Aujourd’hui, la plupart des processeurs hautes performances sont capables d’exécuter plusieurs flots d’exécution simultanément. Ces flots d’exécution partagent les ressources du processeur, comme le cache de dernier niveau, ce qui peut réduire le débit d’exécution de manière difficilement prévisible, selon les caractéristiques de ces flots. Les architectes étudient généralement les charges multitâches en considérant un ensemble de charges de référence et des combinaisons de ces charges de référence. Comme les simulateurs précis au cycle près sont lents, nous voulons un ensemble de combinaisons qui soit aussi petit que possible, mais représentatif. Cependant, il n’existe pas de méthode standard pour la sélection de ces échantillons et différents auteurs ont utilisé différentes méthodes. Il n’est pas clair en quoi le choix d’un échantillon en particulier a une incidence sur les conclusions d’une étude. Nous proposons et comparons différentes méthodes d’échantillonnage permettant de définir des charges multitâches pour l’architecture des ordinateurs. Nous évaluons leur efficacité sur une étude de cas : la comparaison de plusieurs politiques de remplacement pour le cache de dernier niveau. Nous montrons que l’échantillonnage aléatoire, la méthode la plus simple, est robuste pour définir un échantillon représentatif de la charge de travail, à condition que l’échantillon soit assez grand. Nous proposons une méthode d’estimation de la taille de l’échantillon nécessaire basée sur une simulation rapide approximative. Nous proposons une nouvelle méthode, la stratification de chargesmultitâches, qui est très efficace pour réduire la taille de l’échantillon dans les cas où un échantillonnage aléatoire requerrait de grands échantillons. Mots-clés : charges multitâches, multicœurs, méthodes d’échantillonnage, politique de remplacement ha l-0 07 37 44 6, v er si on 2 8 N ov 2 01 2 Selecting Benchmarks Combinations for Multicore Studies 3